AI资讯新闻榜单内容搜索-Scaling la

关键词: AI,模型训练,AI训练AI,人工智能,Scaling Law

为何会发生？可以避免吗？

关键词: Scaling Law,AI,MobileLLM,MobileLLM,大模型

Scaling Law还没走到尽头，「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列，规模甚至降低到了1B以下，两个版本分别只有125M和350M参数，但却实现了比更大规模模型更优的性能。

关键词: AI,微调,模型训练,子空间微调

Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。

关键词: 信息检索,Scaling Law,LLM,AI模型

刚刚，信息检索领域的国际顶会SIGIR 2024，公布了最终获奖结果。在所有获奖名单中，来自清华计算机系的团队们斩获了两大奖项——时间检验奖、最佳论文奖，实至名归！

关键词: MoE,Scaling Law,AI,模型训练

MoE已然成为AI界的主流架构，不论是开源Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。最近，谷歌DeepMind提出了全新的策略PEER，可将MoE扩展到百万个专家，还不会增加计算成本。

关键词: AI,LLM,算力,模型训练,Scaling Law,PNN

最近，多个机构学者合著的一篇研究为AI的规模化指了一条新路：物理神经网络（PNN），这一新兴的前沿领域还鲜少有人涉足，但绝对值得深耕！AI模型再扩展1000倍的秘密可能就藏在这里。

关键词: 微软,AI,Scaling Law,大模型

Kevin Scott表示，过去20年里，人工智能领域最重要的进步都与“规模”有关；OpenAI的潜力在于未来可能成为构建AI平台的基础；数据的质量比数量更重要。

关键词: WAIC,AI,AI峰会,Scaling Law

这几年，人们都在谈论大模型。特别是在 Scaling Law 的指导下，人们寄希望于将更大规模的数据用于训练，以无限提升模型的智能水平。在中国，「数据」作为一种与土地、劳动力、资本、技术并列的生产要素，价值越来越被重视。

关键词: Scaling Law,AGI,无限光年,AI

「Scaling Law is not enough，虽然有红利，但并不能通往真正的 AGI。」

关键词: AI,GPU,大模型,人工智能

Scaling Law 持续见效，让算力就快跟不上大模型的膨胀速度了。「规模越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年，META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」